Does Document Structure Help Dense Retrieval? A Placebo-Controlled Ablation of Four Mechanisms Across Two Corpora
文档结构是否提升密集检索?双语料四机制安慰剂对照消融
🧭 RAG 密集检索 · 文档结构消融
Center for Research Computing, University of Notre Dame
在双语料上做安慰剂对照消融,证明结构对齐分块与真实标题路径能小幅但稳定提升稠密检索 nDCG
📌 工作参考价值(4 点)
- 做商品文档/详情页 RAG 时,尽量按标题、段落等结构对齐分块,而不是固定窗口;给 chunk 加真实标题路径可小幅提升检索 nDCG,成本不高。
- 避免把标题路径等元数据当任意 token 前缀:收益来自语义内容,不是文本扰动;打乱或占位符无效,所以要保留真实结构语义。
- 分层两阶段检索在业务里可能不如单阶段,尤其第一阶段 section 召回率是瓶颈;上线前需对比单阶段与两阶段的 recall/nDCG。
- LLM 重建文档结构不一定优于原始结构,Wikipedia 上原始结构更好,QASPER 上无差异;不要盲目用 LLM 诱导结构,按语料做小样本验证。